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摘 要 : [目的 /意义 ] 自然 环境 中 鲜 食 葡萄 的 快速 识别 与 精准 定位 是 实现 鲜 食 葡萄 机 器 人 自动 采摘 的 先决 条 件 。 
[方法 ] 本 研究 基于 改进 的 K-means 聚 类 算法 和 轮廓 分 析 法 提出 一 种 鲜 食 葡萄 采摘 点 自动 定位 的 方法 。 首 先 ， 采 用 
加 权 灰 度 冰 值 作为 聚 类 算法 相似 度 的 判定 依据 ， 并 以 此 为 基础 提出 一 种 自 适 应 调整 K 值 的 K-means 聚 类 算法 ， 实 
现 鲜 食 葡萄 的 快速 有 效 识 别 检测 ; 然后 ， 利 用 提出 的 轮廓 分 析 法 获得 果 醒 轴 和 采摘 点 感 兴趣 区 域 ， 利 用 几何 方法 
实现 鲜 食 葡萄 采摘 点 快速 准确 定位 ; 最 后 ， 利 用 采集 的 917 张 鲜 食 葡萄 图 像 对 本 研究 提出 的 算法 进行 实验 验证 。 


[结果 和 讨论 ] 本 研究 提出 算法 定位 的 鲜 食 葡萄 采摘 点 与 最 优 采 摘 点 的 误差 小 于 12 个 像素 的 成 功率 为 90.51%,， F 


均 定位 时 间 为 0.87s， 实现 鲜 食 葡 萄 采摘 点 的 快速 准确 的 定位 。 在 篇 壁 式 种 植 方式 与 棚 架 式 种 植 方 式 下 分 别 进行 


50 次 模拟 仿真 试验 ， 结 果 表 明 ， 篇 壁 式 紫 简 萄 采摘 点 定位 


成 功率 为 86.00%， 棚 架 式 紫 和 葡萄 识别 定位 成 功率 达到 


92.00%， 往 壁 式 绿 葡萄 采摘 点 定位 成 功率 为 78.00%， 棚 架 式 绿 葡萄 识别 定位 成 功率 为 80.00%， 整 体 试验 效果 较 
好 。[ 结 论 ] 本 研究 可 为 鲜 食 葡萄 采摘 机 器 人 实现 精准 采摘 葡萄 提供 技术 支撑 。 
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但 鲜 食 葡萄 采摘 仍 以 人 工 为 主 ， 采 摘 机 器 人 发 展 组 
慢 '”。 鲜 食 葡 萄 采摘 点 的 自动 定位 是 采摘 机 器 人 
实现 精确 采摘 的 关键 ， 但 自然 环境 中 侠 食 葡萄 生长 
环境 复杂 ， 外 形 不 规则 ， 果 梗 颜 色 与 鲜 食 葡萄 树枝 
干 、 叶 片 颜 色相 似 ， 枝 叶 、 光 照 等 环境 因素 导致 葡 
萄 采摘 点 的 定位 难以 实现 。 

国内 外 众多 学 者 对 和 葡萄 的 识别 采摘 展开 了 人 研 
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究 。 早 在 1995 年 ，Kondo 等 ““ 提出 一 种 多 功能 葡 
萄 农业 机 右 人 ， 利 用 果穗 的 光谱 反射 及 形状 识别 检 
测 葡萄 ， 但 光谱 反射 受 外 界 湿度 、 天 气 等 因素 影 
响 ， 约 束 条 件 复杂 ， 在 自然 环境 中 葡萄 识别 准确 度 
波动 较 大 。Liu 等 ”结合 颜色 与 纹理 特征 对 葡萄 进 
行 识别 试验 ， 准 确 率 为 88%。Reis 等 基于 彩色 区 
萄 图 像 识 别 分 类 红 、 白 葡萄 ， 其 成 功率 分 别 为 97% 
和 91%。 雷 旺 雄 与 卢 军 ”利用 YUV 颜色 模型 中 的 
U 分 量 实现 葡萄 串 的 分 类 ， 并 利用 角 点 检测 算法 实 
现 葡 菊 采 摘 点 的 定位 。Perez-zavala $E O 利用 纹理 
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与 形状 给 特征 ， 并 结合 聚 类 算法 实现 葡萄 的 识别 。 
由 于 葡萄 与 枝 干 、 枯 叶 像 素 值 相近 ， 且 伴随 外 界 光 
照 等 环境 因素 影响 ， 其 特定 颜色 准则 波动 范围 较 
大 ， 以 上 研究 普 适 性 低 。Berenstein 等 "利用 统计 
学 测量 与 形状 匹配 算法 实现 葡萄 分 割 定位 ， 识 别 成 
功率 达 90%。 刘 平等 "对 自然 环境 下 贴 于 葡萄 进 
行 了 识别 分 制 ， 识 别 分 割 成 功率 为 89.71%。 了 Miao 
等 宇和 运用 边缘 检测 和 轮廓 拟 合 实现 重 受 葡萄 果 粒 
的 检测 与 数据 测量 ， 平 均 误差 率 为 1.5%; 并 进一步 
地 实现 贴 秋 葡 菊 的 采摘 点 定位 ""。 相 较 定 位 葡萄 
采摘 点 而 言 ， 这 些 葡萄 的 识别 与 分 制 相 对 简单 ， 且 
由 于 葡萄 的 形态 多 变 ， 导 致 葡萄 采摘 点 定位 难度 远 
大 于 葡萄 的 分 割 与 识别 。 

目前 ， 有 学 者 对 葡萄 类 复 状 果实 采摘 点 的 定位 
展开 人 研究 。 罗 陆 锋 等 "利用 HIS 彩 色 空间 中 的 了 HH 
分 量 进 行 葡萄 识别 ， 结 合 重心 确定 采摘 点 ， 定 位 成 
功率 为 88.03%。Xiong 等 "90 旋转 RGB 颜色 通道 中 
的 R 分 量 ， 结 合 一 种 改进 的 Chan-Vese (C-V) 水 平 
模型 方法 进行 葡萄 背景 分 离 ， 利 用 最 小 外 接 珑 阵 与 
霍 夫 直 线 检测 定位 采摘 点 ,识别 精度 为 80%~ 
92.5%。 利 用 单一 颜色 通道 实现 的 目标 识别 与 分 割 
受 外 界 扰动 影响 严重 ， 自 然 环 境 中 准确 率 降 低 。 进 
一 步 地 ， 能 俊 涛 等 "" 对 非 结构 环境 下 的 扰动 葡萄 
进行 研究 ， 通 过 Otsu 立 值 分 割 得 到 果实 果 梗 ， 利 用 
点 线 结合 和 霍 夫 直线 拟 合 进 行 采 摘 点 识别 ， 但 是 由 
于 葡萄 果 梗 与 果实 、 枯 叶 、 枝 干 、 叶 子 之 间 的 颜色 
相近 ， 阔 值 分 割 较 难 达到 预期 效果 ， 定 位 采摘 点 准 
确 率 仅 为 80%。Luo 等 提出 了 一 种 基于 双 目 立体 
视觉 的 葡萄 串 空间 信息 获取 方法 ， 实 现 葡 萄 串 的 快 
速 定位 ， 但 准确 率 仅 为 87%。 喜 妍 所 提出 一 种 基 
于 深度 视觉 的 棚 架 葡萄 采摘 机 器 人 手眼 系统 ， 利 用 
深度 相机 获得 图 像 并 进行 背景 分 离 ， 通 过 深度 点 云 
实现 葡萄 果 醒 与 果穗 的 分 离 ， 然 而 其 目标 葡萄 要 求 
无 遮挡 ， 旦 葡萄 果穗 的 高 度 近似 一 致 ， 自 然 环 境 下 
葡萄 难以 满足 其 实施 条 件 。 

近年 来 ， 深 度 学 习 的 发 展 为 水 果 的 识别 及 采摘 
点 的 定位 带 来 新 的 机 遇 ， 罗 庆 等 2 改进 YOLOv5s 
算法 实现 了 毛桃 及 套 袋 桃 的 识别 与 检测 。 同 期 ， 商 
栅 楠 等 2 利用 改进 的 YOLOX 实 现 自然 环境 中 的 
火龙 果 快 速 检 测 ; 周文 静 等 % 利用 Mask R-CNN 


实现 红 提 和 葡萄 果穗 的 背景 分 离 ， 并 通过 Hough 进行 
果 粒 分 割 。 宁 政通 等 利用 Mask R-CNN 进行 葡 
萄 果 梗 的 识别 与 分 制 ， 最 终 利 用 区 域 生长 算法 精准 
分 割 果 梗 实现 采摘 点 定位 ， 准 确 率 达 99.43%。 孙 起 
E H 改进 Cascade RCNN 网 络 与 E-Net 网 络 ， 实 现 
重 倒 番 训 串 的 准确 分 割 。 然 而 采用 深度 学 习 方 法 需 
花费 大 量 的 时 间 与 精力 完成 图 像 标 注 ， 且 深度 学 习 
在 网 络 训练 过 程 以 及 移动 端的 部 署 时 对 设备 性 能 
求 较 高 ， 成 本 较 高 。 

针对 上 述 问 题 ， 本 研究 基于 改进 的 K-means R 
类 算法 和 轮廓 分 析 法 提出 了 一 种 鲜 食 葡萄 采摘 点 自 
动 定位 方法 ， 提 高 鲜 食 葡萄 采摘 点 定位 鲁 棒 性 和 精 
度 ， 为 鲜 食 葡萄 采摘 机 需 人 实现 精准 采摘 葡萄 提供 
理论 文 撑 。 


2 数据 与 材料 


2019 年 10 月 18 日 上 午 07 : 30~11 : 30， 于 山 
东 省 果蔬 研究 所 金牛 山 基 地 (117.18°E, 36.16°N) 
采集 鲜 食 葡萄 图 像 (如 图 1)， 天 气 晴 ， 气 温 12 一 
23"C。 和 葡萄 品种 为 夏 黑 、 摩 尔 多 瓦 、 尤 勇 ， 相 机 采 
用 MI8 手 机 的 后 置 摄像 头 ， 采 集 图 像 约 1200 万 像 
Z (3024X4032) ， 水 平 与 垂直 分 辩 率 为 72 dpi， 光 
图 值 为 V1.8， 曝 光 时 间 为 /100 s， 共 拍摄 图 像 917 
张 。 获 得 的 图 像 由 于 像素 较 高 ， 后 期 图 像 处 理 过 程 
中 耗费 时 间 较 长 ， 因 此 采用 临近 插值 算法 将 图 像 缩 
放 至 原 图 像 的 0.08 倍 ， 像 素 约 为 7.8 (242x 
322 ) ， 提 高 算法 运行 速度 与 实用 性 。 


图 1 鲜 食 葡萄 样本 图 像 
Fig.1 Image of table grape sample 


3 研究 方法 


首先 采用 加 权 灰 度 闪 值 作为 聚 类 算法 相似 度 的 
判定 依据 ， 并 以 此 为 基础 提出 一 种 自 适 应 调整 K 值 
的 K-means 聚 类 算法 ， 实 现 鲜 食 葡萄 的 快速 有 效 分 
割 。 其 次 利用 目 适 应 阔 值 算法 获得 鲜 食 葡萄 二 值 化 
图 像 ， 并 根据 形态 学 处 理 、 填 充 孔 洞 等 操作 进行 除 
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噪 ， 最 终 基 于 最 大 连通 域 获 得 精准 目标 鲜 食 葡萄 图 
像 及 其 轮廓 。 然 后 利用 改进 的 轮廓 分 析 法 获得 果 醒 
轴 和 和 采摘 点 感 兴趣 区 域 ， 并 利用 几何 方法 实现 鲜 食 


GRWN 感 兴趣 区 域 ， 


图 2 鲜 食 葡萄 采摘 点 定位 流程 图 


Se SS SS 


+ OF ` 
— BOËK-means RAE ， 自 适应 Otsu 法 ， 
完成 葡萄 识别 分 害 


简 欧 采摘 点 快速 准确 定位 。 鲜 食 简 列 采 摘 点 的 定位 
算法 流程 如 图 2 所 示 。 


EN 


”利用 最 大 连通 域 | 


| 获得 二 值 图 像 | 提取 目标 葡萄 || 


nn nny pe - FP -------- +, 


| al — = 


Fig. 2 Flowchart of picking point positioning for table grapes 


3.1 鲜 食 葡萄 的 检测 方法 


3.1.1 鲜 食 葡 萄 的 聚 类 分 割 

K-means 上 罕 类 算法 ”是 基于 原型 划分 的 算 
法 ， 根 据 欧式 距离 评价 图 像 中 各 聚 类 簇 的 相似 度 ， 
距离 越 近 ， 目 标 相 似 度 越 大 ， 反 之 越 小 ， 最 终 将 聚 
类 结束 后 独立 且 紧 凑 的 区 域 作 为 聚 类 的 最 终结 
通过 分 析 发 现 该 算法 有 2 个 明显 的 缺陷 : 一 是 聚 类 
算法 的 K 值 为 随机 给 定 的 固定 值 ， 而 每 一 张 图 像 都 
有 独立 的 特点 ， 固 定 K 值 难以 满足 每 张 图 像 的 聚 类 
要 求 。 二 是 欧 氏 距离 为 自 定义 或 固定 值 ， 不 能 根据 
图 像 的 改变 进行 自 适 应 变化 ， 且 每 次 计算 各 点 之 间 
的 欧 氏 距离 消耗 时 间 较 长 ， 难 以 实现 鲜 食 葡萄 的 快 
速 分 割 。 

针对 上 述 问 题 ， 本 人 研究 对 K-means 进行 改进 , 
提出 一 种 可 自 适 应 改变 的 K 值 和 加 权 灰 度 准 值 Dis 
作为 评价 依据 的 K-means 聚 类 算法 ， 实 现 鲜 食 葡萄 
快速 有 效 地 识别 分 割 。 改 进 后 的 聚 类 流程 如 图 3 
所 示 。 

基于 K-means 算 法 的 聚 类 原理 ， 首 先 将 RGB 图 
像 转 为 灰 度 图 像 ， 并 设 定 初始 K 值 。 然 后 按照 灰 度 
等 级 对 灰 度 图 像 进 行 K 个 簇 的 划分 ， 且 单个 徐 中 灰 
度 等 级 像素 数 最 多 的 任意 点 作为 初始 聚 类 的 中 心 
点 ， 当 完成 首次 聚 类 后 ， 获 得 聚 类 后 每 个 复 的 聚 类 
中 心 点 平面 坐标 信息 ， 为 提高 聚 类 准确 率 ， 根 据 公 
式 (1) 完成 图 像 栅 格 化 ， 实 现 图 像 初 始 聚 类 。 


图 像 获取 并 进行 
相关 预 处 理 


t 


设 定 初 始 K 值 


依据 氏 值 完成 图 像 栅 


格 化 ， 实 现 初步 聚 类 | ”更 新 K 值 
求 取 加 权 欧 氏 距 高 SPEED, FER | 


类 中 心 的 中 点 作为 
新 的 此 类 中 心 点 


5 
E 


计算 单个 艇 内 误差 平方 
Alle 


$ 


hikt 
图 3 改进 K-means 后 聚 类 算法 流程 图 
Fig. 3 Flow chart of improved K-means clustering algorithm 


Gray = max, — min, 


__ Gray 四 
cluster = K mod (Gray, K) = 0 (1) 
Gary 
cluster = K-T’ mod (Gray, K) #0 


H, max, 为; 图像 中 灰 度 值 的 最 大 值 min, 
为 i 图 像 中 灰 度 值 的 最 小 值 ; cluster 为 每 个 簇 的 灰 
度 等 级 数 。 

需要 注意 ， 当 mod(Gray, K)x*0 时 ,第 K 个 
JH mod (Gray, K) 个 灰 度 等 级 。 
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当 图 像 栅 格 化 完成 后 ， 获 得 初始 聚 类 簇 及 初始 
聚 类 中 心 〈 见 图 4)。 并 通过 公式 (2) 与 公式 (3) 
计算 每 个 初始 聚 类 复 像 素 所 占 总 像素 的 比例 及 相 邻 
初始 聚 类 中 心 灰 度 值 的 差 值 。 


221 


250 r- + + 


50 100 150 200 250 300 


图 4 鲜 食 葡萄 图 像 的 初始 聚 类 中 心 及 坐标 信息 
Fig.4 Initial cluster center and its coordinate information for 


images of table grape 


Per, = NUM am x 190%, ie[ll,K] (2) 
' NUM ing : , 


D, = Gray,,, — Gray,, ie[1,K-1](3) 

其 中 ，Num ww 为 单个 聚 类 簇 的 像素 数 ， 个 ; 
NUM ;为 图 像 总 像素 数 ， 个 ; 也 ,为 相 邻 两 个 聚 类 中 
心 的 灰 度 闭 值 ;Gray 为 第 ?个 复 聚 类 中 心 的 灰 度 
值 ; Per, 为 每 个 聚 类 簇 中 像素 数 所 占 图 像 总 像素 数 
的 百分比 。 

为 提高 聚 类 算法 的 鲁 棒 性 ， 参 照 公式 (4) 与 
公式 〈5) 求 取 加 权 灰 度 国 值 Dis。 


K =: 
Dis, = X D, X (Per, + Per 
i=l 


(4) 
Dis, = D, X Per, 
Di De (5) 

经 多 次 试验 ， 并 对 试验 数据 进行 统计 分 析 ， 发 
BE Per (EKF Y Per 的 数值 。 进 一 步 分 析 发 现 ， 


由 于 侠 食 葡萄 颜色 较 深 导 致 其 第 1 个 聚 类 艇 像素 数 
较 多 ， 且 由 于 鲜 食 葡萄 多 位 于 图 像 中 间 位 置 ， 其 余 
聚 类 中 心 缘 呈 圆 形 包围 趋势 收敛 于 鲜 食 葡萄 所 在 聚 
类 中 心 ， 如 图 4 所 示 。 最 终 根据 每 个 聚 类 禾 所 占 比 
例 Per 与 相 邻 两 个 聚 类 重心 的 灰 度 差 值 乙 获 得 整个 


Dis = 
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图 片 的 加 权 灰 度 阔 值 。 特 别 说 明 ， 为 保证 数据 真实 
有 效 性 ， 特 别 增加 公式 (5) 完成 第 1 个 与 第 K 个 
RAEN ITE. 

I PB A RR AD YK BE 22 AD, IK 
FE BJE Dis 相 比 较 ， 得 到 : OD, > Dis 时， 判定 
WIT RAIA A ALN PE; QD, < Dis 时 ， 判 定 
DAT RAIA TALE, MERNEK, BANIR 
KERALA EA RAD, JE KA. Ul 
IJE, ELE DCR RE MA Dis AARE, RK 
结束 ， 如 公式 (6) H Je, FFE or, R 
类 结果 如 图 5 所 示 。 


Je,= Ze -ul (6) 

其 中 ，Je 为 每 个 艇 的 误差 平方 科 ， 其 数值 大 小 
在 一 定 程度 上 可 衡量 单个 复 内 数据 点 的 紧密 程度 ， 
一 般 Je, 数 值 越 小 代表 第 j 个 簇 内 数据 紧密 程度 越 
高 ， 聚 类 效果 越 好 ; g SR hie PTR AN BOT 
灰 度 值 ; 忆 为 第 7 个 复 的 聚 类 中 心 灰 度 值 ; N (K,) 
为 第 j 个 艇 中 样本 数据 点 的 个 数 。 


(b) 聚 类 结果 图 
图 5 鲜 食 葡萄 的 聚 类 识别 结果 图 


Fig.$ Results oftable grapes' clustering recognition image 


3.1.2 目标 葡萄 的 获取 

分 析 聚 类 结果 (图 5)， 发现 葡萄 枝 干枯 叶 等 颜 
色 与 人 鲜 食 葡萄 相近 ， 灰 度 值 与 鲜 食 葡萄 相似 ， 导 致 
在 属于 鲜 食 葡萄 的 复 中 包含 较 多 的 细小 噪音 。 本 研 
究 采 用 自 适应 Otsu 对 聚 类 结束 后 的 灰 度 图 像 进行 图 
像 分 制 ， 获 得 二 值 图 像 如 图 6 (a) 所 示 ， 观 察 发 
现 仍 有 较 多 噪音 ， 运 用 形态 学 开 闭 运算 、 图 像 填 
充 以 及 提取 最 大 连通 域 ， 获 得 精准 目标 葡萄 二 值 
图 像 ， 如 图 6 (b) 所 示 。 
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(b) 精 准 二 值 图 


(a) 原 始 二 值 图 
图 6 鲜 食 葡萄 二 值 图 像 
Fig.6 Binary image oftable grapes 


3.2 采摘 点 的 定位 方法 


3.2.1 轮廓 分 析 法 

利用 Canny 算 子 求 取 鲜 食 葡萄 区 域 轮 
BB, WET (a) 所 示 。 分 析 获 得 轮廓 左右 极 值 点 
A、B， 将 轮廓 上 所 有 点 认定 为 质点 ， 如 公式 (7) 
求 取 鲜 食 葡萄 重心 点 C， 结 果 如 图 7 b) 所 示 。 在 
无 外 力 干 扰 情况 下 ， 侠 食 葡 萄 由 于 重力 作用 悬 于 空 
中 ， 果 梗 轴 所 在 直线 穿 过 重心 ， 而 鲜 食 葡萄 果 梗 
必然 介 于 极 值 点 A、B 之 间 ， 因 此 根据 极 值 点 A、 
B 获得 果 梗 轴 感 兴趣 轮廓 ， 侠 食 葡 萄 果 梗 一 定位 
于 轮廓 感 兴趣 轮廓 内 ， 如 图 7 (c) 所 示 


(7) 


其 中 ， 以 图 像 左 上 角 为 原点 ,纵向 为 Y 轴 正方 
， 横 癌 为 X 轴 正方 向 ; X, AEO REER; Y, 
ee E S T y AFE RR 
各 点 纵 坐 标 ; m, 为 各 点 质量 ,默认 轮廓 上 的 点 为 质 
点 ,质量 为 1。 
3.2.2 FRAP ATRL 

由 于 果 梗 轴 穿 过 重心 C， 所 以 从 左 至 右 将 感 兴 
题 轮廓 上 的 点 与 重心 C 依 次 连接 ， 组 成 待 验证 线 
束 ， 如 图 8 (a) 所 示 ， 待 验证 线束 中 一 定 包 含 果 梗 
il Sl gece ead cena aia 
两 个 区 域 ， 如 图 8 (b) 和 图 8 (c) 所 示 , 将 图 8 (b) 
ts jE FE 180° 得 到 


(a) SEA Bb Be (b) 极 值 点 与 质点 (c) 感 兴趣 轮 廊 图 
È: A 为 左 极 值 点 ;B 为 右 极 值 点 ;C 为 重心 
图 7 鲜 食 葡 欧 的 轮 廊 及 轮 廊 信息 图 


Fig. 7 Contour and contour information image of table grapes 


图 8 (d) 所 示 图 像 ， 根 据 图 8 (c), KIs (d) 的 平 
面 坐 标 信 息 求 取 两 幅 依 像素 相似 度 P 值 '”， 
NZS sR (8)， 翻 转 后 的 左 半 区 域 与 右 半 区 域 相似 
度 越 高 ， ale 取 P 值 的 最 小 值 对 应 的 待 验 证 
线 作为 果 梗 多 


(a) 待 验证 线 (b) 左 半 区 域 


c) 右 半 区 域 (d) 左 半 区 域 翻 转 
注 : Cc 为 重心 
图 8 鲜 食 葡 欧 的 待 验证 线束 及 果 梗 轴 


Fig. 8 Images of lines bundles of the stem axis to be verified 


Sf») -ny)] 


Deol toy) (2y) 
其 中 ，P 为 待 验证 线 右 半 区 域 与 翻转 后 的 左 
区 域 的 像素 的 相似 度 值 ，(%,, yy) 为 左 半 区 域 翻 转 后 


P= (8) 


TN 
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点 的 像素 的 坐标 ; (x,, y,) 为 右 半 区 域 点 的 像素 
坐标 。 

3.2.3 ”目标 葡萄 采摘 点 的 定位 

通过 相似 度 P 值 确定 果 梗 轴 如 图 9 (a) 所 示 ， 
为 精准 定位 采摘 点 ， 降 低 环 境 对 采摘 点 定位 的 干 
扰 ， 根 据 鲜 食 葡 萄 轮廓 与 果 梗 轴 交 点 D， 轮 廓 左右 
极 值 点 A、B 及 重心 C 确 定 采摘 点 感 兴趣 区 域 ， 感 
兴趣 区 域 的 长 度 ROI L24 0.8 X L_,,， 高 度 ROI H 
为 0.25 X L eo WES (c) Fra. HP, LW 
极 值 点 A、B 横 坐标 轴 轴 向 距离 ; Lo) NCA 


果 梗 轴 与 鲜 食 葡 萄 轮廓 交点 D 纵 坐标 轴 轴 疝 距 离 。 


(a) 果 梗 轴 图 (b) 果 醒 轴 与 轮 廊 交点 图 


9-250 Hy 
50 

10 

150 RO 
+h 
150 

30 

30 
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(c) 果 梗 与 感 兴趣 区 域 交 点 (d) 采 摘 点 感 兴趣 区 域 
注 : D 为 果 梗 轴 与 葡萄 轮 廊 交 点 ;M 为 果 梗 轴 与 采摘 点 感 兴趣 区 域 上 
边界 交点 
图 9 FRA RAR RNA RA 


Fig. 9 Region of interest of picking point for table grapes 


其 中 ,采摘 点 感 兴趣 区 域 所 在 位 置 的 两 个 约束 
条 件 如 下 : (DD 点 DD 为 感 兴趣 区 域 矩 形 底 边 必 过 点 ; 
@ 点 DD 为 感 兴趣 区 域 矩 形 底 边 中 点 。 依 据 公式 (9) 


(a) 中 心 点 图 


(b) 采 摘 点 定位 图 
注 : 0 为 采摘 点 感 兴趣 区 域 中 心 ;EE 为 采摘 点 
图 10 鲜 食 葡萄 的 采摘 点 识别 结果 图 


Fig. 10 Recognition results ofpicking point for table grapes 


HP, Xo AMOR BIN; 区 为 点 O 纵 坐标 ; x, 
为 外 接 和 矩形 四 个 顶点 的 横 坐 标 ; 世 为 外 接 和 矩形 四 个 
顶点 的 纵 坐 标 。 

定位 采摘 点 E 的 两 种 情况 为 : 中 中 心 O 位 于 
梗 轴 外 ， 求 取 果 梗 轴 至 点 0 的 最 短 距离 的 点 E， 并 
将 点 作为 最 终 采 摘 点 ; 包 中 心 0 位 于 果 梗 轴 上 ， 
将 点 O 作 为 采摘 点 。 


4 结果 与 分 析 


1H 


4.1 试验 数据 与 误差 分 析 


采用 像素 定位 误差 " 方法 分 析 采 摘 点 定位 的 
准确 度 ， 并 通过 采摘 点 像素 定位 误差 e 评 价 采摘 点 
定位 的 精准 度 ， 如 公式 (10) 所 示 : 


e, = min |X - x| 


e, = min |Y - y| (10) 


reaa 

其 中 ,XX 为 最 优 采 摘 点 像素 区 域 模 坐标; 了 为 
最 优 采 摘 点 像素 区 域 纵 坐 标 ; x 为 所 求 的 采摘 点 横 
坐标 ; y 为 所 求 的 采摘 点 纵 坐 标 ; e. 为 得 到 的 采摘 
点 到 最 优 采摘 点 像素 区 域 的 行 方向 坐标 误差 ，e 为 
得 到 的 采摘 点 到 最 优 采摘 点 像素 区 域 的 列 方向 误 
差 ;e 为 采摘 点 像素 定位 误差 。 


1H 


求 取 采摘 点 感 兴趣 区 域 的 中 心 O， 并 获取 点 O 到 
梗 轴 最 近 的 距离 的 点 E， 将 点 E 作 为 最 终 采 摘 点 ， 
结果 如 图 10 所 示 。 


4 
xX; 
Xat 
K (9) 
> 
Yo = a 


为 保证 试验 数据 真实 有 效 ， 最 优 采摘 点 的 坐标 
范围 选 自 采 摘 点 感 兴趣 区 域内 的 果 醒 直线 所 在 区 
域 ， 根 据点 D 和 点 M 人 工 设置 最 优 采 摘 点 的 坐标 范 
A, WA D 和 点 M 的 中 点 为 基点 ， 在 像素 6X30 范 
围 内 为 最 优 采摘 点 的 区 域 ; 计算 本 研究 所 提出 方法 
定位 的 采摘 点 与 人 工 确定 的 最 优 采 摘 点 之 间 的 
误差 。 
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为 验证 本 研究 所 提出 的 方法 ， 对 采集 的 鲜 食 葡 
萄 图 像 进行 识别 试验 ， 并 随机 抽取 10 个 样本 进行 
细致 分 析 。 表 1 为 10 张 图 像 的 聚 类 信息 统计 。 通 过 
分 析 试 验 样本 ， 发 现 当 玉 e[18，22] 时 ， 总 体 聚 类 
效果 最 佳 ， 因 此 设置 初始 K 值 于 [18，22] 区 间 内 产 
生 ， 通 过 分 析 聚 类 结果 ( 表 1)， 本 研究 所 提出 的 


K-means 方 法 与 原始 聚 类 算法 相 比 ， 在 聚 类 效果 相 
差 无 几 情 况 下 ， 聚 类 速度 得 到 明显 提升 。 表 2 为 10 
个 目标 葡萄 采摘 点 定位 信息 ， 特 别 说 明 第 8 个 试 
验 : 由 于 果 梗 感 兴趣 区 域 上 边界 超出 纵 坐 标 正 向 区 
域 ， 从 而 出 现 点 M 纵 坐标 为 负 值 情况 ,但 并 未 影响 
采摘 点 的 准确 定位 ， 其 中 图 11 为 10 组 试验 结 
RE 


R1 目标 葡萄 的 聚 类 信息 


Table 1 Clustering information of target grapes 


样本 号 WIRKE RAKE ”改进 前 聚 类 时 间 /s ”改进 后 聚 类 时 间 /s MEAN ARR FIA BOES A REP A 

1 18 7 2.65 0.66 0.0101 0.0098 

2 20 8 3.23 0.77 0.0092 0.0110 

3 19 7 2.35 0.65 0.0083 0.0083 

4 20 7 2.21 0.58 0.0053 0.0066 

5 21 4 3.68 1.40 0.0122 0.0115 

6 21 6 2.68 0.67 0.0152 0.0147 

7 18 3 2.64 0.64 0.0110 0.0113 

8 18 8 2.69 0.65 0.0115 0.0101 

9 20 9 3.01 0.63 0.0093 0.0100 

10 20 8 3.77 1.26 0.0082 0.0090 

表 2 鲜 食 葡萄 采摘 点 定位 信息 表 
Table 2 Localization information of table grapes 
点 也 坐标 点 M 坐 标 最 优 采 摘 点 范围 ALE AB bE 与 最 优 采摘 点 的 误差 
样本 号 运行 时 间 /s 
(xp) (xY) X Y x y Ba C, e 

1 (157,145) (155,122) 155 133 146 128 9 5 10.3 0.68 
2 155,133) (153,116) 153 124 148 119 5 5 TA 0.78 
3 (160, 143) (159,116) 159 129 155 133 4 4 5.7 0.66 
4 142,52) (142,19) 142 35 149 40 T 5 8.6 0.59 
5 (152,115) (151,91) 151 102 136 134 15 32 35.3 1.42 
6 172,149) (169,1230) 170 135 176 139 6 4 7.2 0.68 
7 (163,38) (161,7) 161 22 165 28 4 6 7.2 0.65 
8 155,26) (156,-14) 155 6 148 13 7 7 9.9 0.67 
9 (204,187) (204,172) 204 179 199 170 5 9 10.3 0.64 
10 209,55) (208,20) 208 37 201 43 7 6 9.2 1.28 


对 抽取 的 10 个 试验 数据 进行 定位 误差 分 析 。 
鉴于 采摘 机 器 人 末端 采摘 装置 具有 一 定 的 容错 范 
围 ， 因 此 本 方法 计算 得 到 的 鲜 食 葡萄 采摘 点 与 最 优 
采摘 点 之 间 在 12 个 像素 认为 定位 成 功 ， 分 析 表 2 发 
现 有 且 仅 有 一 个 采摘 点 误差 大 于 12 个 像素 ， 抽 取 
的 10 个 样本 的 平均 定位 时 间 为 0.74 s。 通 过 表 2 发 
现 ， 当 鲜 食 葡萄 出 现 误 判 时 导致 鲜 食 葡萄 采摘 点 定 


位 失败 。 对 拍摄 的 917 张 图 像 试 验 结果 进行 统计 分 
Dr, HA 87 张 图 像 鲜 食 葡萄 采摘 点 定位 失败 ， 因 
此 整体 定位 成 功率 为 90.51%， 平 均 定位 时 间 为 
0.87 s。 对 定位 失败 案例 的 进行 统计 分 析 ， 结 果 表 
明光 照 是 导致 采摘 点 定位 失败 最 主要 因素 ， 校 叶 的 
谈 挡 和 人 鲜 食 葡 葡 间 相 互 贴 铸 是 导致 采摘 点 定位 失败 
的 次 要 因素 。 
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All 部 分 葡萄 定位 结果 图 


Fig.11 Part of grape positioning results 


4.2 对 比分 析 


对 本 研究 提出 的 算法 进行 对 比分 析 ， 主 要 对 改 
进 后 的 K-means 算法 与 初始 Kmeans 算法 进行 对 
比 ， 结 果 如 图 12 所 示 。 其 中 图 12 (a) 为 初始 KK- 
means 聚 类 算法 的 聚 类 与 定位 失败 案例 ， 由 于 采取 
欧式 距离 作为 聚 类 结果 的 评判 标准 ， 聚 类 迭代 次 数 
多 ， 聚 类 过 程 计算 复杂 ， 导 致 聚 类 时 间 较 长 。 通 过 
统计 ， 初始 K-means 聚 类 算法 的 平均 聚 类 时 间 为 
2.37s; 由 于 玉 值 的 为 固定 值 ， 导 致 聚 类 结果 有 较 


多 不 确定 性 ， 如 图 12 (a) 与 图 12 (b) 都 为 同一 张 


(a) 初 始 聚 类 与 定位 失败 案例 


(b) 初 始 聚 类 与 定位 成 功 案例 
图 12 改进 人 -means 方 法 的 结果 对 比 图 


图 像 初始 K-means 聚 类 的 聚 类 及 定位 结果 。 分 析 发 
现 ， 由 于 玉 值 的 固定 性 以 及 位 置 的 随机 性 导致 聚 类 
结果 的 差异 性 较 大 ， 难 以 适应 多 种 环境 下 的 鲜 食 葡 
萄 检测 及 定位 ， 影 响 后 续 定 位 的 精度 及 准确 率 。 而 
本 研究 提出 的 算法 中 ， 图 像 栅 格 化 在 节约 了 大 量 时 
间 的 同时 ， 也 完成 了 适用 于 相应 图 像 的 K 值 赋值 与 
部 署 ， 同 时 采取 灰 度 阔 值 作为 评判 标准 ， 在 保证 精 
度 的 前 提 下 ， 极 大 提高 聚 类 速度 ， 为 采摘 点 快速 定 
位 提供 基础 ， 图 12 (c) 为 改进 K-means 后 的 聚 类 
与 定位 结果 。 


(Cc) 改进 聚 类 与 定位 成 功 案 例 


Fig.12 Contrasting results of improved K-means method 


4.3 模拟 试验 


模拟 试验 以 Denso 机 械 臂 为 平台 ， 以 32 单 片 机 
为 控制 核心 ， 如 图 13 所 示 ， 在 模拟 环境 下 验证 本 
研究 所 提出 的 方法 。 试 验 结果 如 图 14 所 示 ， 定 位 
数据 如 表 3， 在 篇 壁 式 种 植 方 式 与 棚 架 式 种 植 方 式 
下 分 别 进行 50 次 模拟 试验 ， 结 果 表 明 ， 篇 壁 式 紫 


葡萄 采摘 点 定位 成 功率 为 86.00%， 棚 架 式 紫 葡萄 识 
别 定位 成 功率 达到 92.00%， 篱 壁 式 绿 葡萄 采摘 点 定 
位 成 功率 为 78.00%， 棚 架 式 绿 葡萄 识别 定位 成 功率 
为 80.00%， 整 体 试 验 效 果 较 好 。 进 一 步 分 析 发 现 ， 
由 于 篇 壁 式 葡萄 受 枝叶 的 干扰 (人 遮挡、 支撑 等 )， 
致使 篇 壁 式 葡 菊 采摘 点 识别 成 功率 略 低 于 棚 架 式 区 
萄 采摘 点 识别 成 功率 ; 由 于 绿色 葡萄 受 光照 及 枝叶 
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遮挡 影响 较为 严重 (如 图 14 (d) ), PGR a dE 
位 采摘 成 功率 明显 低 于 紫 葡 萄 定位 成 功率 ,但 仍 满 
足 多 数 情况 下 的 采摘 点 定位 。 
表 3 鲜 食 葡萄 采摘 模拟 试验 数据 
Table 3 Simulation test data for picking of table grapes 


种 植 模式 试验 次 数 成 功率 /% ”平均 时 间 /s 
篇 壁 式 紫 葡 菊 50 86.00 0.89 
棚 架 式 紫 葡萄 50 92.00 0.67 
RES ad 50 78.00 0.72 
棚 架 式 绿 和 葡萄 50 80.00 0.71 

l 4 
2 5 
3 

6 


注 : 1. 末 端 夹 持 装置 ;2. 未 端 剪 切 装置 ;3. 目 标 葡萄 ;4. 相 机 ;5. 未 端 电 
机 ;6. 末 端 控制 器 
图 13 鲜 食 葡萄 采摘 试验 平台 


Fig.13 Picking test platform of table grapes 


5 结论 与 讨论 


本 研究 基于 改进 的 K-means 聚 类 算法 和 轮廓 分 
析 法 提出 了 一 种 鲜 食 葡萄 采摘 点 自动 定位 的 方法 ， 
实现 自然 环境 中 鲜 食 葡萄 的 快速 准确 定位 ， 具 体内 
容 如 下 : 

(1) 改进 K-means 聚 类 算法 。 采 用 加 权 灰 度 阔 
值 作为 聚 类 算法 相似 度 的 判定 依据 ， 并 以 此 为 基础 
提出 一 种 自 适 应 调整 K 值 的 K-means 肾 类 算法 ， 满 
足 自 然 环 境 中 人 鲜 食 葡萄 的 聚 类 要 求 ， 实 现 鲜 食 葡 萄 
的 快速 有 效 分 割 。 

(2) 提出 一 种 基于 轮廓 分 析 与 点 线 结合 的 鲜 食 
葡萄 采摘 点 定位 方法 。 通 过 轮廓 分 析 法 获得 果 醒 轴 
感 兴趣 区 域 ， 并 利用 相似 度 P 值 定位 果 梗 轴 所 在 直 
线 ; 进一步 利用 轮廓 分 析 与 点 线 结合 法 获得 采摘 点 
感 兴趣 区 域 ， 最 终 快 速 准 确 地 定位 采摘 点 。 

(3) 以 夏 黑 、 摩 尔 多 瓦 及 尤 勇 等 鲜 食 葡萄 进行 
算法 验证 ， 结 果 表 明 ， 本 研究 所 提出 的 方法 获得 的 
鲜 食 葡萄 采摘 点 与 最 优 采摘 点 的 误差 小 于 12 个 像 
素 的 平均 成 功率 为 90.51%， 平均 定位 时 间 0.87 s。 


试验 平台 
(a) BEARER ARE 


定位 结果 试验 平台 


(b) 棚 架 式 紫色 葡萄 定位 试验 


试验 平台 
() 黄 壁 式 绿色 葡萄 定 位 试验 


立 结果 试验 平台 
(d) 棚 架 式 绿色 葡 欧 定位 试验 


图 14 鲜 食 葡萄 采摘 试验 结果 图 


Fig. 14 Picking test result of table grapes 


(4) 经 模拟 试验 验证 ， 箭 壁 式 紫 葡 萄 采摘 点 
定位 成 功率 为 86.00%， 棚 架 式 紫 葡萄 识别 定位 成 功 
率 达 到 92.00%， 往 壁 式 绿 葡萄 采摘 点 定位 成 功率 为 
78.00%， 棚 架 式 绿 葡萄 识别 定位 成 功率 为 80.00% , 
整体 试验 效果 较 好 ， 表 明 所 提出 的 方法 能 够 快速 准 
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确 地 实现 鲜 食 葡萄 采摘 点 的 自动 定位 ， 为 鲜 食 葡萄 
采摘 机 融 人 实现 精准 采摘 鲜 食 葡 萄 提供 理论 依据 。 


本 研究 暂 未 考虑 针对 鲜 食 葡萄 的 贴 大 问题 ， 今 


后 将 针对 光照 及 校 叶 遮挡 情况 进行 深入 研究 。 


利益 冲突 声明 : 本 研究 不 存在 研究 者 以 及 与 公开 
研究 成 果 有 关 的 利益 冲突 。 
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Abstract: 


[Objective] Rapid recognition and automatic positioning of table grapes in the natural environment is the prerequisite for the automat- 


ChinaXiv 合 作 期 刊 


34 


202308.00177v1 


ChinaXiv 


ic picking of table grapes by the picking robot. 

[Methods] An rapid recognition and automatic picking points positioning method based on improved K-means clustering algorithm 
and contour analysis was proposed. First, euclidean distance was replaced by a weighted gray threshold as the judgment basis of K- 
means similarity. Then the images of table grapes were rasterized according to the K value, and the initial clustering center was ob- 
tained. Next, the average gray value of each cluster and the percentage of pixel points of each cluster in the total pixel points were cal- 
culated. And the weighted gray threshold was obtained by the average gray value and percentage of adjacent clusters. Then, the clus- 
tering was considered as have ended until the weighted gray threshold remained unchanged. Therefore, the cluster image of table 
grape was obtained. The improved clustering algorithm not only saved the clustering time, but also ensured that the K value could 
change adaptively. Moreover, the adaptive Otsu algorithm was used to extract grape cluster information, so that the initial binary im- 
age of the table grape was obtained. In order to reduce the interference of redundant noise on recognition accuracy, the morphological 
algorithms (open operation, close operation, images filling and the maximum connected domain) were used to remove noise, so the ac- 
curate binary image of table grapes was obtained. And then, the contours of table grapes were obtained by the Sobel operator. Further- 
more, table grape clusters grew perpendicular to the ground due to gravity in the natural environment. Therefore, the extreme point 
and center of gravity point of the grape cluster were obtained based on contour analysis. In addition, the linear bundle where the ex- 
treme point and the center of gravity point located was taken as the carrier, and the similarity of pixel points on both sides of the linear 
bundle were taken as the judgment basis. The line corresponding to the lowest similarity value was taken as the grape stem, so the 
stem axis of the grape was located. Moreover, according to the agronomic picking requirements of table grapes, and combined with 
contour analysis, the region of interest (ROI) in picking points could be obtained. Among them, the intersection of the grapes stem and 
the contour was regarded as the middle point of the bottom edge of the ROI. And the 0.8 times distance between the left and right ex- 
treme points was regarded as the length of the ROI, the 0.25 times distance between the gravity point and the intersection of the grape 
stem and the contour was regarded as the height of the ROI. After that, the central point of the ROI was captured. Then, the nearest 
point between the center point of the ROI and the grape stem was determined, and this point on the grape stem was taken as the pick- 
ing point of the table grapes. Finally, 917 grape images (including Summer Black, Moldova, and Youyong) taken by the rear camera 
of MI8 mobile phone at Jinniu Mountain Base of Shandong Fruit and Vegetable Research Institute were verified experimentally. 
[Results and Discussions] The results showed that the success rate was 90.51% when the error between the table grape picking points 
and the optimal points were less than 12 pixels, and the average positioning time was 0.87 s. The method realized the fast and accurate 
localization of table grape picking points. On top of that, according to the two cultivation modes (hedgerow planting and trellis plant- 
ing) of table grapes, a simulation test platform based on the Dense mechanical arm and the single-chip computer was set up in the 
study. 50 simulation tests were carried out for the four conditions respectively, among which the success rate of localization for purple 
grape picking point of hedgerow planting was 86.00%, and the average localization time was 0.89 s; the success rate of localization 
for purple grape identification and localization of trellis planting was 92.00%, and the average localization time was 0.67 s; the suc- 
cess rate of localization for green grape picking point of hedgerow planting was 78.00%, and the average localization time was 0.72 s; 
and the success rate of localization for green grape identification and localization of trellis planting was 80.00%, and the average local- 
ization time was 0.71 s. 

[Conclusions] The experimental results showed that the method proposed in the study can meet the requirements of table grape pick- 


ing, and can provide technical supports for the development of grape picking robot. 


Key words: table grape; K-means; contour analysis method; fruit stem axis; picking point; picking robot 
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